警惕 AI“罕见”危险行为！Anthropic 发文：一次评估失败也可能造成灾难性后果
警惕 AI“罕见”危险行为！Anthropic 发文：一次评估失败也可能造成灾难性后果对齐科学的主要目标之一，是在危险行为发生之前，预测人工智能（AI）模型的危险行为倾向。
来自主题: AI资讯
5831 点击 2025-02-27 10:05
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
对齐科学的主要目标之一，是在危险行为发生之前，预测人工智能（AI）模型的危险行为倾向。
又一家头部量化机构完成了 AI 领域的关键落子。
CNBC 报道称，开发 AI 搜索引擎的 Perplexity 公司，正在筹集 5000 万美元的种子和预种子投资基金。尽管大部分资金来自有限合伙人，但 Perplexity 将部分用于公司发展的资金作为该基金的锚定资本。据报道，Perplexity 在去年 12 月以 90 亿美元的估值筹集了 5 亿美元。
最新消息，斯隆奖得主、姚班校友马腾宇大模型创业成果，被收购！ 收购方是MongoDB，一家开源数据库上市龙头。
Zep，一个为大模型智能体提供长期记忆的插件，能将智能体的记忆组织成情节，从这些情节中提取实体及其关系，并将它们存储在知识图谱中，从而让用户以低代码的方式为智能力构建长期记忆。
目前的 AI 行业，除了大模型外，竞争最激烈的可能就是 AI 编程了。昨天的文章《用 AI 解决专利纠纷半年 ARR 增 20 倍，Anthropic 再融 35 亿美金》里我还调侃 AI 编程正在经历百编大战，没想到今天这个行业又来了一些新消息。
尽管 OpenAI 和 Anthropic 的收入倍数在过去一年中下降，但 AI 应用开发者如 Perplexity 和 Writer 的收入倍数却上升，分析显示了十几家 AI 初创公司的估值和收入增长情况。
人工智能（AI）系统或将逃脱人类控制，欺骗人类，甚至给全人类带来灾难性的后果。
当很多 AI 公司还就是否该走开源路线而感到左右为难时，阿里的技术团队又开源了一个新的模型 —— 万相（Wan）视频生成大模型（包括全部推理代码和权重，最宽松的开源协议）。
在科技界，快速崛起和巨额交易总是备受关注。本周，MongoDB 宣布以 2.2 亿美元的价格收购 Voyage AI——一家刚成立 17 个月、在嵌入（embedding）和重排序（reranking）模型领域处于行业领先地位的 AI 初创公司。